Can Agents Generalize to the Open World? Unveiling the Fragility of Static Training in Tool Use
智能体能否泛化到开放世界？揭示工具使用中静态训练的脆弱性
🧭 Agent 工具使用泛化与鲁棒性
Nanjing University
发现静态训练的工具使用智能体在开放环境分布偏移下性能脆弱，并提出扰动增强微调策略增强鲁棒性
📌 工作参考价值（4 点）
- 电商智能助手/广告投放 Agent 的鲁棒性设计：在真实业务中，用户查询、工具接口、返回数据格式会频繁变化。论文的四层偏移（感知、交互、推理、内化）框架可直接用于梳理生产环境 Agent 的脆弱点，例如商品描述变化（感知偏移）、API 参数重命名（交互偏移）、促销规则修改（推理偏移）、知识库更新（内化偏移）。
- 训练阶段引入数据扰动：借鉴扰动增强微调策略，在 SFT 阶段针对查询改写、工具说明扰动、观察噪声等构造对抗样本，低成本提升 Agent 对线上突发变化的容忍度，避免频繁重训。
- 评估测试集设计：构建类似沙盒环境，按分布偏移等级设计回归测试集，用于持续监控上线 Agent 的泛化能力，尤其在新品类、新营销工具上线时把关。
- 多维度泛化诊断：论文的四层层次化偏移可作为多维度 QoS 指标，指导 Agent 在搜索推荐场景下（如商品智能推荐对话、投放策略多步推理）的优化方向，明确是哪个层次出现问题。